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Оценка моделей представления данных 
в системах обнаружения и распознавания 
объектов 


В статье предложена классификация моделей представления данных в системах обнаружения и 
распознавания объектов визуальной сцены для решения практических задач. Впервые предложен комплекс 
критериев для оценки моделей представления данных. Приведены области применения рассмотренных 
методов. 


Введение 


Визуальное машинное наблюдение широко применяется в различных областях 
уже довольно давно. Основным компонентом таких систем наблюдения являются сис- 
темы распознавания образов, позволяющие интерпретировать визуальные сцены. 

В задачах распознавания образов, решаемых на ЭВМ, одной из главных состав- 
ляющих, влияющих как на качество работы системы распознавания, так и на скорость 
обработки, является способ представления данных, поступающих непосредственно 
на вход систем, осуществляющих локализацию и классификацию. 

Целью данной статьи является анализ подходов к представлению исходных 
данных для локализации и распознавания объектов на изображении, что позволит 
более эффективно выбирать методы обработки и способы представления данных для 
решения конкретных задам. 


Постановка задачи 


Изображение сцены и искомого объекта представим в виде двумерных массивов 
цветовых интенсивностей в каждой дискретной точке. Обозначим эти множества то- 
чек 5 и / соответственно. 

Необходимо найти такое представление К множества /, которое позволит эф- 
фективно его использовать для широкого круга задач выделения и распознавания 
объектов. 

Также необходимо разработать критерии для оценки применимости моделей пред- 
ставления данных для решения определенных задач. 


Методы интерпретации фрагментов визуальной сцены 


Рассмотрим задачу интерпретации фрагментов визуальной сцены на примере 
анализа изображений дорожной сцены с целью обнаружения и распознавания авто- 
транспортных средств. Этот класс распознающих систем использует многие известные 
на сегодняшний момент методы обнаружения и распознавания объектов. 
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С целью сокращения размерности поискового пространства для отыскания 
движущихся объектов на изображении сцены большого размера часто применяется 
предварительный анализ движения, который осуществляется на основе последова- 
тельности кадров, содержащих изображение сцены при неподвижной камере. Один 
из таких методов описан в [1]. Без привязки к поиску конкретных объектов описанный 
метод обнаруживает любое движение в пределах изображения сцены. 

Далее возможно работать с оригинальным изображением сцены (в том числе, 
применяя при этом фильтры, улучшающие качество изображения, или уменьшая его 
масштаб) либо с преобразованным изображением с целью улучшения качества обна- 
ружения и распознавания объектов. 

Методы, описанные в [2], [3], позволяют отыскивать как движущиеся, так и 
неподвижные объекты, используя оригинальное изображение сцены и ряд шаблонов 
для поиска. В [2] — шаблонов целого автотранспортного средства, снятого с опреде- 
ленного (рассматриваемого) ракурса, а в [3] — семантических фрагментов изображения 
целого объекта, после обнаружения которых делается вывод как о положении целого 
искомого объекта, так и о точности обнаружения его фрагментов на основании такого 
решения. 

Существует большое количество различных преобразований изображения, по- 
зволяющих облегчить задачу обнаружения и распознавания, повысить их точность, а 
также выделить инвариантные признаки на основании этих преобразований. Как пра- 
вило, преобразования связаны с отысканием градиента интенсивности цвета, что сразу 
делает признаки, основанные на использовании результатов такого преобразования, 
инвариантными к цвету искомого объекта (что особенно интересно, например, при 
работе с автотранспортными средствами). Примерами преобразований исходного изобра- 
жения могут служить сенсус-преобразование [4], карты ребер [5], [6], полученные, 
например, после применения метода преобразования Собеля, или фильтры Габора [7]. 

Ряд других методов использует априорную информацию об объекте поиска. 
Использование кумулятивных гистограмм для обнаружения объектов с известными 
значениями параметров показывает неплохие результаты при применении в локаль- 
ной области. Так в [6-8] данный подход был применен для обнаружения автомобилей на 
видах спереди и сзади, где их форма хорошо вписывается в прямоугольные рамки и 
имеет сосредоточения ребер, например, горизонтальных в средней части объекта (на 
границе излома кузова автомобиля). 

В [9], [19] описаны методы, содержащие совмещенные процедуры обнаружения 
и распознавания объектов под любыми углами обзора на основе сопоставления с их 
трехмерными моделями. 

В ряде случаев непосредственно для распознавания наряду с другими, описан- 
ными выше методами, применяются нейронные сети [9-12], для обучения которых 
применялись исходные или преобразованные изображения искомых объектов. 


Классификация способов представления данных 
об объекте поиска 


В [13] была сделана попытка классификации методов сегментации изображе- 
ний. Для нас же представляется целесообразным классифицировать методы обнаружения 
и распознавания объектов для их применения для решения конкретных задач. 
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Применяемые в рассмотренных методах обнаружения и распознавания объек- 
тов изображения визуальных сцен способы представления данных об объекте поиска 
различны и зависят от решаемых задач. Условно эти способы можно разделить на 
несколько основных классов. 

На рис. | представлена общая схема классификации способов представления 
изображения для поиска в пределах сцены. 
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Рисунок 1 — Классификация способов представления изображения для систем 
оптического распознавания 


для поиска 


Самый простой способ представления изображений для поиска - в виде мас- 
сивов интенсивностей точек, представляющих собой целое искомое изображение 
в=Ц} 
или его фрагменты, после обнаружения которых необходимо провести дополнитель- 
ные вычисления, сделать вывод на основании взаимного расположения фрагментов 
о положении искомого объекта: 
К= {р | ож (ху, ) Е Б,, 3(х,, у, )е Вх, -х, +, - у, = 1), 


где Р. — множество дискретных точек; К — индекс; х, у, х,, у, — натуральные числа. 


Преобразования исходного изображения весьма разнообразны и используют 
информацию об интенсивности и взаимном расположении точек изображения для 
вычисления параметров каждой такой точки: 

В= (И, РРе п, 
где / - некоторая функция преобразования; Р — множество дискретных точек; 1, / — 
индексы. 

Применение фильтров преобразования [4-7] в различных задачах связано с не- 
обходимостью повышения точности обнаружения и распознавания либо сокращения 
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количества хранимых эталонов классов путем инвариантизации к тем или иным пре- 
образованиям исходного изображения. 

При этом применение фильтров, как правило, призвано улучшить качество 
обнаружения и распознавания без потери большей части первоначальной информа- 
ции об объекте, в то время как применение сверток предполагает использование 
методов отбора информативных признаков для решения конкретной задачи. 

Найденные таким образом свертки часто могут иметь семантическое значение, 
упрощая тем самым обработку и интерпретацию работы системы распознавания в 
целом на более высоком уровне: 


в=Иу(в)] всп 
где / — некоторая функция преобразования; Р, — множество дискретных точек; А — 


индекс. 

Преобразование кумулятивных гистограмм яркости приведено как один из при- 
меров несемантического преобразования с потерей большей части первоначальных 
данных: 


велено еее, 
7 7 


где Г, < — некоторые функции преобразования; с,, с, — некоторые векторы; е,,6, — 
единичные векторы осей декартовой системы координат; 1, / — индексы могут при- 


меняться с целью ускорения работы системы обнаружения объектов либо полностью 
ее представлять для отдельных частных задач. 

Исходные искомые изображения также можно использовать для обучения ней- 
ронных сетей с целью их дальнейшего использования в распознавании. При этом 
исходные изображения преобразуются в набор весовых коэффициентов обучаемой 
сети. 


Оценка эффективности применения моделей 
представления данных поискового образца 
для различных задач 


Для оценки эффективности применения моделей представления данных для по- 
иска выделим качественные показатели систем обнаружения и распознавания объектов, 
на которые оказывает непосредственное влияние модель представления исходных 
данных для поиска. 

Представляется целесообразным обобщить и формализовать результаты срав- 
нения рассмотренных способов хранения, а также очертить круг задач, в которых более 
рационально использование тех или иных способов. 

Результаты сравнения моделей представления данных для поиска приведены в 
табл. 1. 

Как видно из табл. 1, системы, использующие для сравнения изображение объекта 
или его частей с целью обнаружения и распознавания, являются весьма универсальны- 
ми, поскольку могуг содержать практически любые изображения объектов для поиска. 
Однако объем хранимых для этого исходных данных велик, поскольку необходимо 
хранить информацию о цветовой интенсивности в каждой точке каждого искомого 
изображения объекта. 
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Таблица 1 — Оценка параметров моделей к представлению данных в системах 
обнаружения и распознавания объектов 


Использование 
априорной информации 
об объекте поиска 
Критерии сравнения |666 _ 
е реобразо 
моделей представления Фрагмент ВаНИВ Свертки, 
данных поиска р НЫЕ 
гистограммы ВЯ 
ит.д. 

Универсальность системы. | Высокая Высокая Низкая Низкая 
Объем хранимых для 
поиска данных: 
— на 1 экземпляр, Высокий Высокий Низкий Низкий 
— количество экземпляров. | Высокое Среднее Среднее Низкое 
Скорость работы системы: 
— в режиме обучения, Низкая Низкая Низкая Высокая 
— в режиме обнаружения и | Средняя Средняя Низкая Низкая 
распознавания. 
Трудоемкость создания и 
обслуживания системы: 
— на этапе создания, Низкая Средняя Высокая Высокая 
— на этапе подготовки к Низкая Низкая Средняя Средняя 
работе. 
Точность обнаружения и 
распознавания объекта: 
— максимальная точность Средняя Высокая Высокая Средняя 
при заданном объеме 
входных данных, 
— возможность оценки Средняя Средняя Средняя Низкая 
точности. 


Исходя из этого можно сделать вывод, что применение такого подхода рацио- 
нально при поиске определенного класса объектов, не отличающихся особым разно- 
образием на том или ином уровне дискретизации их изображения. 

Затраты на создание такой системы низки, поскольку связаны с созданием сис- 
темы сравнения изображений. Обучение этих систем сводится к получению набора 
изображений искомых объектов. 

Точность обнаружения и распознавания объектов при заданном объеме вход- 
ных данных — средняя и обуславливается низкой инвариантностью к различным внешним 
условиям сцены и положению искомого объекта. 

Применение систем, основанных на отыскании исходного изображения объек- 
та, возможно при необходимости минимизировать затраты на создание системы при 
условии не слишком большого многообразия возможных необходимых для отыскания 
вариантов изображений объекта. 

Преобразование исходного изображения кроме повышения точности обнаруже- 
ния и распознавания зачастую делает его инвариантным условиям среды или частным 
случаям изображения искомого объекта, что снижает необходимое для хранения 
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количество экземпляров преобразованного изображения объекта для достижения за- 
данного качества обнаружения и распознавания. Зачастую в рассмотренных примерах 
такие преобразованные изображения инвариантны к освещенности сцены и цвету са- 
мого объекта, так как используют информацию о градиенте цвета. 

Таким образом, использование преобразований связано с необходимостью обна- 
ружения объектов при различных внешних условиях, а также большего числа различных 
вариантов изображения искомого объекта по сравнению с предыдущим подходом. 

Если рассмотренные выше подходы, будучи реализованными для определенного 
класса задач, могут применяться и в других сферах, то методы, использующие априор- 
ную информацию об искомом объекте, разрабатываются для обнаружения и распознавания 
лишь определенного класса объектов. 

Использование априорной информации об искомом объекте позволяет сокращать 
общее количество признаков, применять обобщение и редукцию, тем самым снижая 
объем хранимых об объекте данных и времени на обработку при минимальных поте- 
рях в качестве работы системы, но требует значительно больших затрат как на этапе 
создания системы (выделение соответствующих признаков), так и на этапе подготовки 
к работе (подготовка эталонных изображений в соответствии с выбранными наборами 
признаков). 

Необходимо также отдельно выделить применение для обнаружения и распо- 
знавания объектов системы, использующие обученные на изображениях искомых 
объектов нейронные и нейро-нечеткие сети [12]. Построение таких сетей, как и 
используемые для их обучения признаки, непосредственно зависят от искомого объекта 
и строятся на основе априорной информации о нем. 


Выводы 


С целью решения актуальной задачи распознавания образов предложена клас- 
сификация способов представления данных в системах обнаружения и распознавания 
для использования при решении практических задач. 

Научная новизна результатов работы заключается в том, что: 

— предложен новый метод классификации моделей представления данных в систе- 
мах обнаружения и распознавания объектов на изображении визуальной сцены для 
решения практических задач; 

— впервые предложены критерии для оценки параметров различных подходов к пред- 
ставлению данных в системах обнаружения и распознавания объектов. 

Практической ценностью работы является предложение использования для решения 
задач обнаружения и распознавания объектов методов, методов и моделей представления 
данных, наиболее подходящих для данного типа задач. 

Работа выполнена как часть НИР кафедры программных средств Запорожского 
национального технического университета «Научно-методические основы и матема- 
тическое обеспечение для автоматизации и моделирования процессов управления и 
поддержки принятия решений на основе процедур распознавания и эволюционной 
оптимизации в нейросетевом и нечеткологическом базисах» (№ гос. регистрации 
01060008621), а также НИР ООО «МПА Групп» «Разработка математического и 
информационного обеспечения интеллектуальной системы визуального контроля 
транспортных средств» (№ гос. регистрации 01060012013) и «Разработка методов и 
программных средств на основе обучения, распознавания, оптимизации и адаптации 
для принятия решений в автоматизированных системах управления транспортными 
средствами» (№ гос. регистрации 0107090006781). 
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С.О. Субботт, К.Ю. Бойченко 

Ощнка моделей подання даних в системах знаходження та розшзнавання о0б’ект!в 

У стати запропоновано класифткацю моделей подання даних в системах знаходження та розшзнавання 
об’ектив в1зуальних сцен для виришення практичних задач. Вперше запропоновано комплекс критерйв 
для ошнки моделей подання даних. Наведено галуз! застосування оглянутих метод1в. 


5... бирБойн, К.Уи. Восйепко 

Пай Вергезещайоп Моде!5 Еуашайоп ш ОБес{ Реесйоп ап@ Весосош@оп Зузет 

Те даа гергезещаноп по4е!$ с1аззШсаноп ш \15а] зсепе обес деёесйоп ап тесоотуйоп зузёета$ 15 шёгодисед. 
ТБе сгиепа сотр|ех Кг даа гергезетайоп плоде! еуалаНоп 15 Чеуеюоред. Те аррИсаНоп дотла г геулеме4 
тейо4$ аге а44исе4. 
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